Graph neural networks (GNN) have become the default machine learning model for relational datasets, including protein interaction networks, biological neural networks, and scientific collaboration graphs. We use tools from statistical physics and random matrix theory to precisely characterize generalization in simple graph convolution networks on the contextual stochastic block model. The derived curves are phenomenologically rich: they explain the distinction between learning on homophilic and heterophilic graphs and they predict double descent whose existence in GNNs has been questioned by recent work. Our results are the first to accurately explain the behavior not only of a stylized graph learning model but also of complex GNNs on messy real-world datasets. To wit, we use our analytic insights about homophily and heterophily to improve performance of state-of-the-art graph neural networks on several heterophilic benchmarks by a simple addition of negative self-loop filters.

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

磁共振成像是临床诊断的重要工具。但是，它遭受了漫长的收购时间。深度学习的利用，尤其是深层生成模型，在磁共振成像中提供了积极的加速和更好的重建。然而，学习数据分布作为先验知识并从有限数据中重建图像仍然具有挑战性。在这项工作中，我们提出了一种新颖的Hankel-K空间生成模型（HKGM），该模型可以从一个k-空间数据的训练集中生成样品。在先前的学习阶段，我们首先从k空间数据构建一个大的Hankel矩阵，然后从大型Hankel矩阵中提取多个结构化的K空间贴片，以捕获不同斑块之间的内部分布。从Hankel矩阵中提取斑块使生成模型可以从冗余和低级别的数据空间中学习。在迭代重建阶段，可以观察到所需的解决方案遵守学识渊博的先验知识。通过将其作为生成模型的输入来更新中间重建解决方案。然后，通过对测量数据对其Hankel矩阵和数据一致性组合施加低排名的惩罚来替代地进行操作。实验结果证实，单个K空间数据中斑块的内部统计数据具有足够的信息来学习强大的生成模型并提供最新的重建。

表格数据是业务应用程序中最常见的数据存储格式之一，范围从零售，银行和电子商务。这些应用在很大程度上依赖机器学习模型来取得业务成功。学习表格数据的关键问题之一是将有影响力的特征与所有预定特征区分开。假设所有实例都具有相同的影响力子集，那么全球功能选择已经进行了很长时间。但是，不同的实例依赖于实践中的不同特征子集，这也引起了实例的特征选择，在最近的研究中受到了越来越多的关注。在本文中，我们首先提出了一种新的方法，以发现表格数据的实例影响特征（DIWIFT），其核心是引入影响函数以衡量实例特征的重要性。 Diwift能够在不同实例中自动发现不同尺寸的影响力子集，这与全局特征选择不同，后者考虑了具有相同影响力特征子集的所有实例。另一方面，与以前的实例功能选择不同，DIWIFT最大程度地减少了验证集的验证损失，因此对于训练数据集和测试数据集中存在的分配变化更为强大，这在表格数据中很重要。最后，我们对合成数据集和现实数据集进行了广泛的实验，以验证我们的diwift的有效性，并将其与基线方法进行了比较。此外，我们还通过一些消融实验来证明我们方法的鲁棒性。

无人机（无人驾驶飞机）动态包围是一个具有巨大潜力的新兴领域。研究人员通常会从生物系统中获得灵感，要么是从宏观世界（如鱼类学校或鸟类羊群）或类似基因调节网络等微世界的灵感。但是，大多数群体控制算法都取决于集中控制，全球信息获取或相邻代理之间的通信。在这项工作中，我们提出了一种纯粹基于视觉的分布式群体控制方法，而没有任何直接通信，例如，群体的代理无人机可以生成一个陷入的模式，以完全基于其安装的全向视觉传感器包围无人机的逃脱目标。还设计了描述每种无人机行为模型的有限状态机器，以便一群无人机可以集体地搜索和捕获目标。我们在各种模拟和现实实验中验证了所提出方法的有效性和效率。

随着代表性学习成为一种在实践中降低增强学习（RL）样本复杂性（RL）的强大技术，对其优势的理论理解仍然是有限的。在本文中，我们从理论上表征了在低级马尔可夫决策过程（MDP）模型下表示学习的好处。我们首先研究多任务低级RL（作为上游培训），所有任务都共享一个共同的表示，并提出了一种称为加油的新型多任务奖励算法。加油站同时了解每个任务的过渡内核和近乎最佳的策略，并为下游任务输出良好的代表。我们的结果表明，只要任务总数高于一定的阈值，多任务表示学习比单独学习的样本效率要高。然后，我们研究在线和离线设置中的下游RL，在该设置中，代理商分配了一个新任务，共享与上游任务相同的表示形式。对于在线和离线设置，我们都会开发出样本效率高的算法，并表明它找到了一个近乎最佳的策略，其次要差距在上游中学习的估计误差和一个消失的术语作为数字作为数字的估计误差的范围。下游样品的大量变大。我们在线和离线RL的下游结果进一步捕获了从上游采用学习的表示形式的好处，而不是直接学习低级模型的表示。据我们所知，这是第一个理论研究，它表征了代表性学习在基于探索的无奖励多任务RL中对上游和下游任务的好处。

以前的工作通常认为，改善卷积网络的空间不变性是对象计数的关键。但是，在验证了几个主流计数网络之后，我们出人意料地发现，太严格的像素级空间不变性将导致密度图生成中的噪声过高。在本文中，我们尝试使用本地连接的高斯内核来替换原始的卷积过滤器，以估计密度图中的空间位置。这样做的目的是允许特征提取过程潜在刺激密度生成过程以克服注释噪声。受到先前工作的启发，我们提出了一个低级别的近似值，并伴随着翻译不变性，以有利地实施大量高斯卷积的近似值。我们的工作指向了后续研究的新方向，该方向应该研究如何正确放松对象计数过于严格的像素级空间不变性。我们在4个主流对象计数网络（即MCNN，CSRNET，SANET和RESNET-50）上评估我们的方法。在7个流行的基准测试中进行了大量实验，用于3种应用（即人群，车辆和植物计数）。实验结果表明，我们的方法明显优于其他最先进的方法，并实现对物体空间位置的有希望的学习。

包括传统浅层模型和深图神经网络（GNN）在内的图形嵌入方法已导致有希望的应用。然而，由于其优化范式，浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足，在堆叠过多的层时很容易引起过度平滑的问题，这可能会恶化低度（长尾）项目的建议，从而限制了表现力和可伸缩性。在本文中，我们提出了一个新颖的框架SAC，即空间自动回归编码，以统一的方式解决上述问题。为了充分利用邻居接近和高级信息，我们设计了一种新型的空间自回旋范式。具体而言，我们首先随机掩盖了多跳的邻居，并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后，我们加强模型，通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码，并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余，我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。

自然语言界面（NLIS）为用户提供了一种方便的方式来通过自然语言查询交互分析数据。然而，交互式数据分析是一种苛刻的过程，特别是对于新手数据分析师。从不同域探索大型和复杂的数据集时，数据分析师不一定有足够的关于数据和应用域的知识。它使他们无法有效地引起一系列查询并广泛导出理想的数据洞察力。在本文中，我们使用Step-Wise查询推荐模块开发NLI，以帮助用户选择适当的下一步探索操作。该系统采用数据驱动方法，以基于其查询日志生成用户兴趣的应用域的逐步语义相关和上下文感知的查询建议。此外，该系统可帮助用户将查询历史和结果组织成仪表板以传达发现的数据洞察力。通过比较用户学习，我们表明我们的系统可以促进比没有推荐模块的基线更有效和系统的数据分析过程。

结合PersonAs信息允许在对话响应生成中多样化和接触响应。不幸的是，事先作品主要专注于自我的人物，并忽视了合作伙伴角色的价值。此外，在实际应用中，实际伙伴角色的可用性通常不是这种情况。本文试图通过提供一种新颖的框架来解决这些问题，这些框架利用自动合作伙伴角色生成来增强成功的对话一代。我们将强化学习纳入了一个专门设计的批评网络，以获得奖励判断。自动和人类评估的实验结果表明a）我们的框架能够产生相关，信息丰富的合作伙伴角色，甚至与地面真理合作伙伴角色相比。 b）生成的合作伙伴角色增强了后续的响应生成，从而超越了当在推理阶段缺少合作伙伴角色时超越了我们的基线和比较模型。 c）我们的框架在推理期间产生的响应比我们的基线在地面真理合作伙伴角色上的基线更具信息丰富和参与。 d）我们专门设计的批评批评网络有效地加强了我们的框架。最后，我们的框架提供了更好的解释性，并降低了对伙伴角色的外部数据库的需求。